메뉴

#AI 추론

TC
TechCrunch AI • 36일 전
IMP 6

램프, 자체 AI 모델 라우터 'Router' 출시

기업 경비 관리 플랫폼 램프(Ramp)가 OpenRouter와 유사한 AI 모델 라우팅 서비스 'Router'를 미국 한정으로 출시했습니다. OpenAI, Anthropic, 딥시크 등 다양한 대규모 언어 모델을 하나의 API로 사용하고 전환할 수 있으며, 2026년 말까지 무료로 제공됩니다. 램프는 급성장하는 AI 추론 시장에 진입함과 동시에 기존 토큰 사용량 관리 제품과의 시너지를 노리고 있습니다.

램프 AI 라우터 OpenRouter
TD
The Decoder • 45일 전
IMP 9

AI의 숨겨진 사고 과정 해킹: 유출된 비밀번호와 "하지만 마리네이드"

보안 연구진이 OpenAI, Anthropic, Google 등 주요 AI 모델의 암호화된 내부 사고 과정(reasoning)을 추출해 낼 수 있는 취약점을 발견했습니다. 이를 통해 작은 AI 모델을 탈옥시켜 강력한 모델의 원시 사고 과정을 그대로 읽어내고, 공개된 세션에서 비밀번호와 API 키 같은 민감한 정보를 유출할 수 있음이 밝혀졌습니다. 이는 모델 지식 증류(distillation) 및 지적 재산권 침해에 악용될 수 있어 산업계에 큰 보안 경고를 주는 사안입니다.

보안 취약점 AI 추론 데이터 유출
HN
Hacker News • 50일 전
IMP 8

AMD, Taalas 인수... 모델을 실리콘에 각인해 추론 10배 끌어올린다

AMD가 AI 칩 스타트업 Taalas를 인수하며, AI 모델의 가중치(weights)를 실리콘 자체에 직접 각인(etching)하여 추론 성능을 극대화하는 기술을 확보했습니다. 이 방식은 특정 모델에 최적화된 맞춤형 칩(MSIC)을 제작해 기존 GPU 대비 최대 48배 빠른 토큰 생성 속도를 보여주며, 코드 어시스턴트 등 고성능 AI 에이전트 추론 비용을 획기적으로 낮출 수 있습니다. 비록 모델이 변경될 경우 칩을 다시 설계해야 하는 치명적인 단점이 있지만, AMD는 자사 GPU와 결합하여 대규모 AI 워크로드를 처리하는 새로운 아키텍처를 구축할 계획입니다.

AMD 하드웨어 AI 추론
MP
MarkTechPost • 54일 전
IMP 7

코젠트 AI, 기업 해킹 경로 구성하는 사이버 보안 모델 'VR-1' 공개

Cogent AI 팀이 일반적인 코딩 능력의 부산물이 아닌, 오직 사이버 보안에 특화된 추론 모델인 'Cogent VR-1'을 출시했습니다. 이 모델은 기업 침투 공격 과제를 평가하는 'IntrusionBench'와 보안 에이전트를 위한 통제된 런타임인 'Cogent AI Harness'를 함께 제공하여, 실질적인 엔터프라이즈 보안 위협 분석과 방어에 중요한 역할을 할 것으로 기대됩니다.

사이버 보안 보안 모델 AI 추론
TC
TechCrunch AI • 80일 전
IMP 8

프랑스 AI 스타트업 ZML, 다양한 칩에서 추론 속도를 높이는 무료 제품 출시

튜링상 수상자 얀 르쿤의 지지를 받는 프랑스 AI 스타트업 ZML이 엔비디아, AMD, 구글 TPU 등 다양한 칩에서 최적의 LLM 추론 성능을 낼 수 있는 무료 소프트웨어 'ZML/LLMD'를 출시했습니다. 이는 기존 엔비디아 중심의 시장 독점과 벤더 종속 문제를 타파하고, 기업들이 비용과 에너지를 절감하며 AI 인프라를 구축할 수 있게 돕는 시장 판도 변경자로 평가받고 있습니다.

AI 추론 ZML 오픈소스
LL
r/LocalLLaMA • 129일 전
IMP 8

인텔 차세대 AI 반도체 크레센트 아일랜드

인텔의 차세대 AI 추론 가속기인 '크레센트 아일랜드(Crescent Island)'의 기판(PCB) 이미지가 최초로 유출되었습니다. 이 장치는 HBM 공급 부족 및 고가 문제를 우회하기 위해 160GB 용량의 LPDDR5X 메모리를 채택했으며, 이는 비용과 전력 효율을 크게 높이는 전략입니다. 새로운 Xe3P 아키텍처를 기반으로 하는 이 가속기는 AI 토큰 서비스 및 공냉식 데이터센터 추론 워크로드에 최적화된 경쟁력 있는 솔루션을 제공할 전망입니다.

인텔 AI 하드웨어 크레센트 아일랜드
LL
r/LocalLLaMA • 131일 전
IMP 7

llama.cpp: MTP 프롬프트 처리 속도 개선 PR 병합

오픈소스 프로젝트 llama.cpp에 MTP(다중 토큰 예측) 적용 시 프롬프트 처리(PP) 속도를 크게 향상시키는 PR이 병합되었습니다. 기존에는 불필요한 로짓(logit) 복사로 인해 메모리 부하가 발생했으나, 이를 최적화하여 MTP 사용 시 발생하던 성능 저하를 절반 수준으로 줄였습니다.

llama.cpp 성능 최적화 MTP
GP
r/ChatGPT • 152일 전
IMP 8

챗GPT 5.4, 64년 난제 풀었다

23세 사용자가 ChatGPT 5.4 Pro를 이용해 60여 년간 미해결로 남아있던 에르되시(Erdős) 수학 난제를 단 한 번의 시도로 풀어냈습니다. 모델이 약 1시간 20분 만에 기존에 알려진 공식을 해당 문제에 접목시켜 해결책을 도출한 것으로 전해졌습니다. 해당 대화 기록은 공개되어 있으나 현재까지 완벽하게 검증된 상태는 아닙니다.

ChatGPT 수학 난제 AI 추론
HN
Hacker News • 153일 전
IMP 8

챗GPT로 60년 난제 푼 23세 아마추어 수학자

23세 아마추어가 OpenAI의 최신 모델을 활용해 60년 된 에르되시 추측 수학 문제를 단 한 번의 프롬프트로 해결했습니다. AI가 인간 수학자들이 놓친 완전히 새로운 접근법을 고안해냈다는 점에서, 학계는 AI의 수학적 추론 능력이 실질적인 응용 가치를 지니기 시작했음을 확인하는 중요한 사례로 평가하고 있습니다.

챗GPT 수학 난제 에르되시 문제